📊Может ли использование MSE в логистической регрессии привести к другим локальным минимумам по сравнению с кросс-энтропией
Да, может. Хотя кросс-энтропия обычно приводит к единственному глобальному минимуму (в терминах логарифмического правдоподобия), использование среднеквадратичной ошибки (MSE) может создать более сложный ландшафт ошибки, особенно в нелинейной области логистической функции.
🔍Почему так происходит
🔎MSE не согласована с сигмоидой Логистическая функция быстро насыщается — и в этих зонах градиенты MSE становятся очень малыми, что замедляет обучение или может ввести оптимизатор в заблуждение.
🔎Плоские или нестабильные участки Из-за особенностей формы функции ошибки при MSE, градиенты могут быть почти нулевыми в широких зонах, а значит — модель может застрять в субоптимальных решениях.
🔎Кросс-энтропия лучше «соотнесена» с логистической регрессией Она прямо оптимизирует логарифмическое правдоподобие и ведёт к более «чистому» и выпуклому ландшафту потерь, что помогает градиентному спуску быстрее находить оптимум.
📊Может ли использование MSE в логистической регрессии привести к другим локальным минимумам по сравнению с кросс-энтропией
Да, может. Хотя кросс-энтропия обычно приводит к единственному глобальному минимуму (в терминах логарифмического правдоподобия), использование среднеквадратичной ошибки (MSE) может создать более сложный ландшафт ошибки, особенно в нелинейной области логистической функции.
🔍Почему так происходит
🔎MSE не согласована с сигмоидой Логистическая функция быстро насыщается — и в этих зонах градиенты MSE становятся очень малыми, что замедляет обучение или может ввести оптимизатор в заблуждение.
🔎Плоские или нестабильные участки Из-за особенностей формы функции ошибки при MSE, градиенты могут быть почти нулевыми в широких зонах, а значит — модель может застрять в субоптимальных решениях.
🔎Кросс-энтропия лучше «соотнесена» с логистической регрессией Она прямо оптимизирует логарифмическое правдоподобие и ведёт к более «чистому» и выпуклому ландшафту потерь, что помогает градиентному спуску быстрее находить оптимум.
A leaked Telegram discussion by 50 so-called crypto influencers has exposed the extraordinary steps they take in order to profit on the back off unsuspecting defi investors. According to a leaked screenshot of the chat, an elaborate plan to defraud defi investors using the worthless “$Few” tokens had been hatched. $Few tokens would be airdropped to some of the influencers who in turn promoted these to unsuspecting followers on Twitter.
How Does Telegram Make Money?
Telegram is a free app and runs on donations. According to a blog on the telegram: We believe in fast and secure messaging that is also 100% free. Pavel Durov, who shares our vision, supplied Telegram with a generous donation, so we have quite enough money for the time being. If Telegram runs out, we will introduce non-essential paid options to support the infrastructure and finance developer salaries. But making profits will never be an end-goal for Telegram.
Библиотека собеса по Data Science | вопросы с собеседований from ru
